\documentclass[12pt,a4paper]{article}
\usepackage{geometry}
\usepackage{ctex}
\geometry{a4paper, margin=1in}
\usepackage{titlesec}
\usepackage{graphicx}
\usepackage{booktabs}
\usepackage{hyperref}
\usepackage{enumitem}
\usepackage{longtable}

\title{分布式计算论文综述：混合会议综述模板}
\author{廖雨航 241607010036 电子信息}
\date{\today}

\begin{document}

\maketitle

\section*{摘要}
本文综述了 RTAS、ICML、ICLR 和 DAC 四个国际会议近三年关于在资源受限型移动设备上进行神经网络训练与推理的研究进展。本文从并行算法、编程模型与框架、硬件优化与协同设计、分布式系统四个主题出发，系统总结和比较了各会议的研究重点与贡献。研究表明，当前的研究主要集中在如何提高深度神经网络在受限资源环境下的计算效率、降低功耗、优化存储使用以及提升模型的泛化能力。本文进一步探讨了不同会议之间的交叉研究点、研究趋势与领域挑战，并提出了未来可能的研究方向。

\section{引言}
\subsection{会议背景与意义}
本综述覆盖以下会议： \textit{RTAS}（IEEE 实时与嵌入式技术及应用研讨会）、\textit{ICML}（国际机器学习大会）、\textit{ICLR}（国际深度学习研究会议）、\textit{DAC}（设计自动化会议）。这些会议在移动设备等资源受限型部署神经网络进行训练推理相关研究方向上存在诸多交叉点，但各自研究重点有所不同，分别是：
\\ \textit{RTAS}专注于实时与嵌入式技术及应用，在移动设备等资源受限环境下，重点研究如何将神经网络的训练推理与实时系统的严格时间约束、嵌入式设备的有限资源相结合。
\\ \textit{ICML}作为机器学习领域的重要会议，聚焦于机器学习算法的创新与发展，着重研究适用于此类设备的新型神经网络训练算法，如如何改进优化算法以减少训练时间和内存消耗，以及如何利用迁移学习、元学习等技术，在少量数据的情况下实现高效的模型训练，提升模型在移动设备上的泛化能力和性能表现。
\\ \textit{ICLR}主要关注学习表示的理论和实践，重点在于探索更高效的神经网络架构和表示学习方法，以降低模型复杂度，减少计算资源需求，同时保持甚至提升模型的准确性。
\\ \textit{DAC}围绕设计自动化展开研究，侧重于从硬件设计和系统层面进行优化，包括设计专门针对神经网络计算的低功耗硬件架构、开发高效的硬件加速模块，以及优化硬件与软件之间的协同设计，提高移动设备在运行神经网络训练推理任务时的整体性能和能效比。
\subsection{综述目标}
本综述的目标是：
\begin{itemize}
    \item 总结跨会议的研究主题与贡献。
    \item 比较会议间的差异与交叉点。
    \item 提炼研究趋势与挑战，提出未来研究建议。
\end{itemize}

\subsection{综述范围}
本文涵盖例如\textit{RTAS}、\textit{ICML}、\textit{ICLR}和\textit{DAC}在近三年的研究论文，按主题统一分类，共分析\textit{17}篇论文。

\section{研究主题分类与分类分析}
\subsection{主题分类}
根据研究内容，将论文按以下主题分类：
\begin{enumerate}
    \item \textbf{并行算法}：优化并行计算的算法设计与实现。
    \item \textbf{编程模型与框架}：并行编程语言、模型与运行时优化。
    \item \textbf{硬件优化与协同设计}：多核、GPU、TPU等硬件环境下的性能提升。
    \item \textbf{分布式系统}：容错机制、一致性协议与大规模分布式架构。
\end{enumerate}

\subsection{论文总览与分类表}
用表格汇总论文信息，包括论文标题、作者、主题分类、核心技术和主要贡献等，方便快速查看。
\begin{table}[h!]
    \centering
    \resizebox{\textwidth}{!}{
    \begin{tabular}{|l|l|l|l|l|l|}
    \hline
    \textbf{编号} & \textbf{主题} & \textbf{会议} & \textbf{标题} & \textbf{核心技术} & \textbf{主要贡献} \\ \hline
    1 & 分布式系统 & RTAS & TinyBFT: Byzantine Fault-Tolerant Replication for Highly Resource-Constrained Embedded Systems & PBFT协议优化和静态内存分配技术  & 提出了TINYBFT库,用于资源受限设备的BFT状态机复制  \\ \hline
    2 & 编程模型与框架 & ICML & POET: Training Neural Networks on Tiny Devices with Integrated Rematerialization and Paging & 联合搜索重新计算和页面调度策略，图形级编译器优化 & 开发了POET系统,优化了内存受限边缘设备上的深度神经网络训练能耗 \\ \hline
    3 & 编程模型与框架 & ICML & TinyTrain: Resource-Aware Task-Adaptive Sparse Training of DNNs at the Data-Scarce Edge & 离线学习和在线学习框架，稀疏更新策略 & 提出了TinyTrain框架,提升数据稀缺环境下的深度学习模型性能 \\ \hline
    4 & 分布式系统 & ICLR & Using spiking neural networks to assist fine art and philology study: to classify styles of Chinese calligraphy with minimal computing power & 提出基于LeNet的CaStySNN对中国书法风格分类 & SNN在低计算资源下取得更好的分类效果 \\ \hline
    5 & 编程模型与框架 & ICLR & Transfer NAS with Meta-learned Bayesian Surrogates & 基于深度核高斯过程的自动机器学习框架 & 在六个计算机视觉数据集上取得最先进的性能 \\ \hline
    6 & 硬件优化与协同设计 & ICLR & Network Augmentation for Tiny Deep Learning & 增加宽度构建大模型，选择子网络辅助监督 & 减少内存占用和训练时间，适用于小型设备 \\ \hline
    7 & 硬件优化与协同设计 & ICLR & DictFormer: Tiny Transformer with Shared Dictionary & 轻量级Transformer模型压缩、共享字典和系数表示 & 压缩模型大小并减少计算量，适用于移动设备 \\ \hline
    8 & 编程模型与框架 & ICLR & MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer & 结合CNN和Transformer的轻量级网络结构设计 & 提高移动设备上的视觉识别任务效率 \\ \hline
    9 & 并行算法 & ICLR & DKM: Differentiable k-Means Clustering Layer for Neural Network Compression & 可微分的K-Means聚类算法，注意力机制 & 实现可微分的k-means聚类，优化模型压缩和准确率 \\ \hline
    10 & 分布式系统 & DAC & Deep Reorganization: Retaining Residuals in TinyML & 网络扩张和逐步线性化调整 & 提升微小神经网络在大规模数据集上的学习能力 \\ \hline
    11 & 并行算法 & DAC & MoteNN: Memory Optimization via Fine-grained Scheduling for Deep Neural Networks on Tiny Devices & STML系统，ARM TrustZone保护，内存交换策略 & 保护TinyML模型的知识产权，优化内存利用和降低延迟\\ \hline
    12 & 硬件优化与协同设计 & DAC & SPARK: An Efficient Hybrid Acceleration Architecture with Run-Time Sparsity-Aware Scheduling for TinyML Learning & DERO方法，重新组织残差连接法 & 降低微型设备中的峰值内存使用，保持模型精度\\ \hline
    13 & 并行算法 & DAC & RT-MDM: Real-Time Scheduling Framework for Multi-DNN on MCU Using External Memory & 轴连接图（ACG）表示，内存瓶颈导向的算子分区和调度 & 降低微型设备上的峰值内存使用，几乎不引入额外延迟 \\ \hline
    14 & 并行算法 & DAC & NetBooster: Empowering Tiny Deep Learning By Standing on the Shoulders of Deep Giants & 混合加速架构，稀疏感知加速调度器 &  提升TinyML学习性能，降低内存访问带来的性能损耗 \\ \hline
    15 & 分布式系统 & DAC & IP Protection in TinyML & 基于段组的内存管理策略，任务内调度器 & 提优化多DNN任务的执行，提供时间保证 \\ \hline
    16 & 编程模型与框架 & DAC & The larger the fairer?: small neural networks can achieve fairness for edge devices & FaHaNa框架，模型冻结方法 & 寻找公平且准确的神经网络架构 \\ \hline
    17 & 分布式系统 & DAC & FHDnn: communication efficient and robust federated learning for AIoT networks &融合CNNs和超维计算的协同联邦学习框架 & 提降低通信成本，提高对网络错误的鲁棒性 \\ \hline
    \end{tabular}
    }
    \caption{跨会议论文分类总览}
    \label{tab:papers}
\end{table}


\section{各主题详细分析}
\subsection{主题 1：并行算法}

\subsubsection{ICLR}
\begin{itemize}
    \item Minsik等\cite{cho2022dkm}提出了\textit{Differentiable K-Means Clustering Layer}，优化了\textit{深度神经网络模型压缩和准确率之间的平衡}。
\end{itemize}
论文详细分析如下：
\begin{itemize}
    \item \textbf{论文标题}：DKM: Differentiable k-Means Clustering Layer for Neural Network Compression\cite{cho2022dkm}
    \item \textbf{研究问题}：在深度神经网络（DNN）模型压缩中,传统聚类方法无法通过反向传播优化权重与质心之间关系，以及权重聚类时存在的未充分优化、不可微等问题
    \item \textbf{方法与技术}：论文采用了哪些创新方法或技术？这些方法的优势是什么？提出了一种名为Differentiable K-Means Clustering Layer（DKM）的压缩算法，
    将 k -means 聚类转化为注意力问题，通过计算权重与聚类中心的距离矩阵，应用 softmax 得到注意力矩阵，实现权重与所有聚类中心的交互，进而进行可微的 k -means 聚类。
    该过程迭代进行，直至聚类中心收敛，且整个过程可微，能根据任务损失优化权重分配，即整个过程可以被反向传播优化
    \item \textbf{主要贡献}：该文的创新点就在于提出了一个新颖的方法，即使用注意力机制来捕捉权重和簇之间的交互作用，从而实现可微分的k-means聚类，
    而且实验结果表明DKM在模型压缩和准确率之间取得了更好的平衡，超越22年以前的先进算法，也是后续研究工作的基准方法之一。
    \item \textbf{不足与未来方向}：DKM 层会增加 GPU 内存使用，尤其在更多聚类（更多比特）和更小维度的情况下。
    此外，训练和推理时权重存在差异，导致准确率有一定下降，可以使用稀疏表示来减少 GPU 内存占用，如为每个权重保留 top-k 个聚类中心；
    将控制注意力矩阵软度的超参数 τ 设为每层可学习参数或应用调度策略，进一步提高模型准确性 
\end{itemize}

\subsubsection{DAC}
\begin{itemize}
    \item Renze等\cite{chen2024MoteNN}提出了\textit{轴连接图（ACG）表示方法}，优化了\textit{微型设备上深度神经网络的内存使用}。
    \item Kang等\cite{kang2024RT-MDM}提出了\textit{实时调度框架RT-MDM}，优化了\textit{多DNN任务的执行和内存管理}。
    \item zhong等\cite{Zhongzhi2023NetBosster}提出了\textit{NetBooster网络训练框架}，优化了\textit{微小神经网络在大规模数据集上的学习能力}。
\end{itemize}
论文详细分析如下：
\begin{itemize}
    \item \textbf{论文标题}：MoteNN: Memory Optimization via Fine-grained Scheduling for Deep Neural Networks on Tiny Devices
    \item \textbf{研究问题}：一些库和框架已经开发出来用于在小型设备上部署DNN。但是它们很少关注中间张量的内存使用优化。TinyEngine通过手动设计的基于补丁的推理来减少内存使用，但这种方法引入了显著的延迟开销，并且仅限于简单的CNN结构，因此难以应用于更复杂的DNNs。
    一些工作在具有复杂结构的网络中安排操作执行顺序可以有效地降低内存使用，但这些方法是粗粒度的，通过将操作符划分成较小的操作符并安排更细粒度的图，可以获得更大的内存减小（细粒度）。但网络中每个操作器都有相当多的分区方案，这些方案一起形成了一个大的组合优化空间。
    如何搜索出满足延迟约束下的最小峰值内存的网络分区方案和对应的调度是具有挑战性的。
    \item \textbf{方法与技术}：提出一种名为轴连接图（ACG）的图表示方法，以图形层次对操作符进行分区，显著减少了优化空间。 基于ACG还提出一种算法，该算法以内存瓶颈为导向，寻找合适的算子分区和调度方案。
    通过分析网络中各部分的内存需求和使用情况，确定内存瓶颈所在，然后根据这些信息对算子进行划分和调度，从而降低峰值内存使用。
    为了避免重叠滑动窗口引起的大量计算开销，MoteNN通过算子分区，将复杂的神经网络计算过程进行细分，根据不同算子的特点和内存需求，制定精细的执行顺序和调度方案，最大程度减少内存的峰值占用。 
    \item \textbf{主要贡献}：在实际应用中，使用各种流行网络对MoteNN进行评估，结果显示与当前最先进的方法相比，MoteNN在微型设备上可实现高达80\%的峰值内存使用降低，有效缓解了微型设备内存不足的问题。 
    而且在大幅降低内存使用的同时，几乎没有引入额外的延迟开销，使得深度神经网络在微型设备上能够快速运行，保证了系统的实时性和响应速度。 MoteNN不局限于简单的CNN，可应用于任意深度神经网络。
    \item \textbf{不足与未来方向}：未来可研究如何进一步提升MoteNN在更复杂和新型神经网络结构上的性能硬件适配策略，使其能更好地应用于各种不同架构的微型设备；还可以结合其他内存优化技术或硬件加速技术，进一步提高深度神经网络在微型设备上的整体运行效率。
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：RT-MDM: Real-Time Scheduling Framework for Multi-DNN on MCU Using External Memory
    \item \textbf{研究问题}：随着在微控制器单元（MCUs）上执行的深度神经网络（DNNs）应用范围扩展到对时间要求严格的系统中，确保满足日益增长的DNN推理的时间要求变得至关重要。现有研究在满足这一需求方面存在不足，
    本文旨在提出一种针对在使用外部内存的MCU上执行多个DNN任务的实时调度框架，解决如何在这种资源受限的环境下，有效调度多个DNN任务，保证其执行时间要求，并合理管理内存的问题。
    \item \textbf{方法与技术}：对分段的DNN模型，分析其执行顺序依赖关系，以及在依赖条件下并行执行时的内存需求。 提出基于段组的内存管理策略，实现段组内内存的隔离使用，以及不同段组间内存的分片使用。
    同时专门为上述内存管理策略设计了任务内调度器。该调度器根据任务依赖和内存分配情况，合理安排任务执行顺序，确保在满足时间要求的同时，充分利用系统资源。
    \item \textbf{主要贡献}：提出首个针对在使用外部内存的MCU上执行多个DNN任务的实时调度框架，填补了该领域的空白。该方法在实际系统中优化了DNN任务的执行，有效容纳更多DNN任务，并为其提供时间保证，提升了基于MCU的实时系统在多DNN任务处理方面的性能。
    \item \textbf{不足与未来方向}：RT-MDM可能在面对极其复杂的DNN模型结构或大规模多任务场景时，其调度和内存管理的效率会受到挑战；在不同类型的MCU和外部内存组合下，框架的通用性或许有待提升。 
    未来可研究如何优化RT-MDM，使其能更好地应对复杂模型和大规模多任务场景，进一步提高调度和内存管理效率；探索增强框架在不同硬件环境下的通用性，使其能适配更多类型的MCU和外部内存
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：NetBooster: Empowering Tiny Deep Learning By Standing on the Shoulders of Deep Giants
    \item \textbf{研究问题}：在微小深度学习中，微小神经网络（TNNs）模型因容量有限导致出现欠拟合问题，如何提升其在大规模数据集上的学习能力和下游任务的准确率，同时保持其高效性。
    同时如何采用扩展-收缩策略，并解决其中存在的问题。
    \item \textbf{方法与技术}：提出了一种名为NetBooster的网络训练框架，旨在通过扩张-收缩策略提高DNN的性能。具体来说，该框架包括两个步骤：第一步是网络扩张，通过插入多层块来增加CNN的容量，并缓解其欠拟合问题；
    第二步是逐步线性化调整（Progressive Linearization Tuning，PLT），在目标数据集上逐步去除扩张块中的非线性激活函数并将其收缩回原始CNN，以继承学到的知识而不带来额外的推理开销。
    \item \textbf{主要贡献}：首次提出通过构建深度巨网络来提升 TNNs 准确率的训练范式；NetBooster 训练框架相比现有方法，
    NetBooster 能使 TNNs 的准确率提升 1.3\% - 2.5\%；在下游任务中，最高可提升 4.7\% 的准确率；此外，该文还探索了何时、何地以及如何在训练TNN时进行数据扩充
    \item \textbf{不足与未来方向}：论文未提及 NetBooster 在处理某些特定复杂任务或数据集时可能存在的局限性，也未对框架在不同硬件平台上的适应性进行深入探讨。
    例如，如何更好地选择数据扩充的方式以及如何优化扩张-收缩策略等，未来可进一步探索。
\end{itemize}

\subsection{主题 2：编程模型与框架}

\subsubsection{ICML}
\begin{itemize}
    \item Patil等\cite{pmlr-v162-patil22b}提出了\textit{Private Optimal Energy Training系统}，优化了\textit{内存受限边缘设备上的深度神经网络训练能耗}。
    \item Kown等\cite{kwon2024tinytrain}提出了\textit{Tiny-Train训练框架}，优化了\textit{数据稀缺环境下的深度学习模型性能}。
\end{itemize}

论文详细分析如下：
\begin{itemize}
    \item \textbf{论文标题}：POET: Training Neural Networks on Tiny Devices with Integrated Rematerialization and Paging
    \item \textbf{研究问题}：在内存受限的边缘设备上训练深度神经网络时，如何优化能耗并保证训练速度？
    以及如何在满足最小训练吞吐量的前提下，寻找最佳的重新计算和页面调度策略
    \item \textbf{方法与技术}：提出了名为POET（Private Optimal Energy Training）的系统，用于在内存受限的边缘设备上训练深度神经网络。
    该系统通过联合搜索重新计算和页面调度（这是减少反向传播内存消耗的算法）来优化能耗，并确保满足最小训练吞吐量的要求
    \item \textbf{主要贡献}：POET的主要创新点在于将激活重新计算和页式存储相结合，以减少内存占用并最小化总能量消耗。
    同时，POET使用整数线性规划（ILP）来解决边缘设备上的深度学习训练问题，并能够在十分钟内由商用求解器解决。
    此外，POET还可以根据给定的内存预算和训练期限生成满足这些约束条件的解决方案，并能够适应不同的硬件和网络操作符。
    \item \textbf{不足与未来方向}：未来的研究方向包括整合激活压缩以及扩大POET的搜索空间以页式存储参数等。此外，POET的能量优化策略也可以应用于云计算环境下的深度学习训练。
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：TinyTrain: Resource-Aware Task-Adaptive Sparse Training of DNNs at the Data-Scarce Edge
    \item \textbf{研究问题}：在数据稀缺的边缘设备上进行深度神经网络训练时所面临的挑战
    \item \textbf{方法与技术}：一种名为Tiny-Train的训练框架，该框架包括两个阶段：离线学习和在线学习。离线学习通过使用大量公共数据集进行预训练，并利用元学习技术对少量样本进行训练来提高模型的泛化能力。
    在线学习则针对特定任务，在有限的数据集上进行微调以进一步提高模型性能。此外，该框架还采用了稀疏更新策略，通过对模型中重要的层和通道进行选择性的更新，减少了计算和内存开销。
    \item \textbf{主要贡献}：与传统的整个网络微调相比，TinyTrain在准确性方面提高了3.6-5.0\%，同时将反向传播内存和计算成本分别降低了高达1,098倍和7.68倍，TinyTrain比现有方法快9.5倍、更节能3.5倍，且内存占用量仅为SOTA方法的2.23倍，同时仍保持在MCU级平台的1MB内存限制内
    \item \textbf{不足与未来方向}：可以考虑将该方法扩展到不同的架构（如Transformer、RNN等）和应用领域（如分割、音频/生物数据），或者在边缘设备上运行大型语言模型
\end{itemize}

\subsubsection{ICLR}
\begin{itemize}
    \item Shala等\cite{shala2023transfer}提出了\textit{基于深度核高斯过程的自动机器学习框架}，优化了\textit{新数据集上的最优神经网络架构发现}。
    \item mehta等\cite{mehta2022mobilevit}提出了\textit{MobileViT模型}，优化了\textit{移动视觉任务在资源受限设备上的运行需求}。
\end{itemize}

论文详细分析如下：
\begin{itemize}
    \item \textbf{论文标题}：Transfer NAS with Meta-learned Bayesian Surrogates
    \item \textbf{研究问题}：传统自动机器学习框架无法快速适应新数据集
    \item \textbf{方法与技术}：提出了一种基于深度核高斯过程（Deep Kernel Gaussian Process）的自动机器学习框架，用于快速发现新数据集上的最优神经网络架构。
    通过利用图神经网络（Graph Neural Network）获取神经网络的可学习表示，并使用嵌入式变换器（Set Transformer）获得数据集的可学习表示。
    然后将这两个表示合并并传递给一个全连接神经网络，以产生输入到可训练核函数中的向量。最后，通过元学习（Meta-Learning）来优化这些参数，以便在新的响应曲面上快速识别最佳配置
    \item \textbf{主要贡献}：该方法在六个计算机视觉数据集上取得了最先进的性能，并且速度与单次搜索方法相当。
    \item \textbf{不足与未来方向}：该方法针对小型数据集，可以尝试应用在微小嵌入式设备的训练上，可以考虑与现有方法结合。
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer
    \item \textbf{研究问题}：如何结合卷积神经网络（CNNs）和视觉 Transformer（ViTs）的优势，构建一个轻量级、低延迟且通用的网络，以满足移动视觉任务在资源受限设备上的运行需求。
    该问题重要性在于，许多现实世界应用依赖移动设备进行实时视觉识别任务，但现有轻量级 CNNs 存在空间局部性问题，而 ViTs 虽然能学习全局表示，但存在模型笨重、优化困难、对数据增强敏感等问题，无法很好地适用于移动设备
    \item \textbf{方法与技术}：将 Transformer 作为卷积来学习全局表示，在一个张量中有效编码局部和全局信息。通过标准卷积层和逐点卷积层生成局部特征，再利用 Transformer 对展开的特征进行全局处理，最后通过折叠和卷积融合特征。
    \item \textbf{主要贡献}：相比于传统的卷积神经网络，MobileViT可以有效地利用空间诱导偏置，从而更好地处理图像中的局部结构。
    可以通过使用标准卷积层和点乘卷积层来替代复杂的多头自注意力机制，从而减少计算成本并提高效率。可以在不同大小的输入上进行训练，而无需进行任何位置插值或调整。
    \item \textbf{不足与未来方向}：作为针对移动设备缺乏专门为 Transformer 优化的操作，MobileViT是各类实验的基准模型，目前已有各种先进的版本和其他方法。 
    该论文提出的模型对推动移动设备等资源受制型进行神经网络的部署和训练有重大意义.
\end{itemize}

\subsubsection{DAC}
\begin{itemize}
    \item Sheng等\cite{sheng2022FaHa}提出了\textit{FaHaNa框架}，优化了\textit{边缘设备上公平且准确的神经网络架构搜索}。
\end{itemize}
论文详细分析如下：
\begin{itemize}
    \item \textbf{论文标题}：The larger the fairer?: small neural networks can achieve fairness for edge devices
    \item \textbf{研究问题}：随着神经网络在边缘设备中的广泛应用，公平性问题逐渐凸显，如在人脸识别和移动医疗等领域。当前面临的挑战是，在满足边缘设备硬件规格要求的前提下，如何寻找具有公平性和准确性平衡的最优神经网络架构。
    \item \textbf{方法与技术}：论文提出了一种公平性和硬件感知的神经网络架构搜索框架FaHaNa，结合模型冻结方法，在搜索过程中考虑公平性、准确性和硬件约束。
    采用特定的搜索算法，在满足硬件规格的基础上，搜索不同的神经网络架构。在搜索过程中使用模型冻结方法，固定部分网络参数，使得搜索更高效。
    \item \textbf{主要贡献}：创新性地提出FaHaNa框架，有效解决了在边缘设备上寻找公平且准确的神经网络架构的难题。而且论文实验证明了在皮肤病学数据集上，
    FaHaNa能找到一系列具有更高公平性和准确性的神经网络。针对目标边缘设备，找到的神经网络架构相比MobileNetV2，准确率略高，模型大小缩小5.28倍，公平性得分提高15.14\% 。在Raspberry PI和Odroid XU-4设备上，推理速度分别提升5.75倍和5.79倍。
    \item \textbf{不足与未来方向}：公平性评估指标可能不够全面。 未来研究可考虑拓展公平性评估指标，使其更全面地反映模型公平性。同时，探索如何更好地适应不同类型的边缘设备和应用场景，推动边缘设备上公平且高效的神经网络发展 。 
\end{itemize}

\subsection{主题 3：硬件优化与协同设计}

\subsubsection{ICLR}
\begin{itemize}
    \item cai等\cite{cai2022network}提出了\textit{NetAug方法}，优化了\textit{小型设备的小神经网络训练效果}。
    \item lou等\cite{lou2022dictformer}提出了\textit{DictFormer轻量级Transformer模型压缩方法}，优化了\textit{移动设备上的实时自然语言处理应用}。
\end{itemize}

论文详细分析如下：
\begin{itemize}
    \item \textbf{论文标题}：Network Augmentation for Tiny Deep Learning
    \item \textbf{研究问题}：在资源受限的环境下运行的小型设备的小神经网络的训练效果通常不如大型神经网络，表现在现有的正则化技术（如数据增强和dropout）的运行效果远远达不到拟合
    \item \textbf{方法与技术}：作者提出了NetAug方法，通过增加宽度的方式来构建大模型，然后从中选择子网络作为辅助监督来帮助小神经网络学习更有用的特征表示。
    在训练过程中，NetAug只使用一个辅助监督网络来进行额外的前向和反向传播计算，以避免训练成本过高。
    \item \textbf{主要贡献}：NetAug只需要共享权重的大模型，因此可以大大减少内存占用和训练时间，因此可以考虑应用到小型设备，
    此外，NetAug还可以应用于已经设计好的神经网络架构上，进一步提高其性能。而且该文的实验验证了MobileNetV2-Tiny证明其能应用于微型设备
    \item \textbf{不足与未来方向}：未来研究可以进一步探索如何优化NetAug的参数设置，以获得更好的性能提升效果。此外，也可以考虑将NetAug应用于其他类型的深度学习任务，如自然语言处理等
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：DictFormer: Tiny Transformer with Shared Dictionary
    \item \textbf{研究问题}：传统Transformer模型在移动设备等资源受限环境下，模型参数和计算量任务大，传统的重量共享方法和轻量化方法都没有有效的解决这个问题
    \item \textbf{方法与技术}：结合现有的重量共享方法和轻量化方法，作者提出了名为DictFormer的轻量级的Transformer模型压缩方法，将注意力和FFN中的权重分别表示为共享字典和少量非零系数的乘积形式，
    并利用这些共享字典和系数来进行矩阵乘法运算，从而实现了高效的计算。
    \item \textbf{主要贡献}：实验表明，DictFormer在多个任务上将模型大小减少了3.6倍到8.9倍，与Transformer相比
    \item \textbf{不足与未来方向}：虽然训练字典和系数并不容易的事情，但是存储和使用相较于传统的压缩方法，在保持较高准确率的同时，能够显著压缩模型大小并减少计算量，
    因此可以在移动设备和物联网设备上实现真正的实时自然语言处理应用。未来，DictFormer可以通过进一步优化字典共享和未共享线性投影系数的方法来提高性能
\end{itemize}

\subsubsection{DAC}
\begin{itemize}
    \item li等\cite{li2024Spark}提出了\textit{SPARK混合加速架构}，优化了\textit{TinyML学习性能和内存访问带来的性能损耗}。
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：SPARK: An Efficient Hybrid Acceleration Architecture with Run-Time Sparsity-Aware Scheduling for TinyML Learning
    \item \textbf{研究问题}：当前大多数TinyML设备仅专注于推理，因为训练需要更多硬件资源。本文研究如何设计一种高效的TinyML学习加速架构（硬件方面），在有限硬件资源条件下支持设备端训练，同时提高硬件利用率和减少内存访问的问题。
    \item \textbf{方法与技术}：SPARK架构通过在CPU流水线中集成专门的加速单元，实现了前向和反向传播的同时处理；结合稀疏感知的动态工作负载调度器，优化了对稀疏数据的处理效率；
    并且，通过构建支持数据转置访问的统一内存系统，减少了内存访问次数和数据传输开销。
    \item \textbf{主要贡献}：相较于基线加速器，平均性能提升4.1倍，且仅增加2.27\%的面积开销。在性能方面，SPARK比现成的边缘设备高出9.4倍，效率提高446.0倍.
    \item \textbf{不足与未来方向}：研究如何进一步提升架构在不同硬件环境下的可扩展性，适配更多类型的硬件资源；还可结合新兴技术，如更先进的稀疏性检测算法或新型内存管理技术，进一步提升系统整体性能。。
\end{itemize}

\subsection{主题 4：分布式系统}

\subsubsection{RTAS}
\begin{itemize}
    \item harald等\cite{Harald2024TinyBFT}提出了\textit{TINYBFT库}，优化了\textit{嵌入式系统中高度资源受限设备的BFT状态机复制}。
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：TinyBFT: Byzantine Fault-Tolerant Replication for Highly Resource-Constrained Embedded Systems
    \item \textbf{研究问题}：拜占庭式容错协议复制消耗了大量内存，无法适用于由高度资源受限设备组成的嵌入式系统。如何提出了通用解决方案,如何减少BFT状态机复制协议的内存占用量，如何提高协议效率
    \item \textbf{方法与技术}：进行了对不同BFT协议的设计进行的详细分析，包括选择适合嵌入式系统的PBFT协议作为基础，并对其进行了优化以减少内存消耗。
    此外，还针对嵌入式系统的特点，如有限的内存、网络不可靠等，提出了相应的解决方案，例如使用非挥发性存储来保存部分状态信息，以及利用节点之间的通信特点来提高协议效率。
    \item \textbf{主要贡献}：主要贡献在于提出了TINYBFT库，这是一种针对嵌入式系统中高度资源受限设备的BFT状态机复制解决方案。
    与现有的BFT协议相比，TINYBFT采用了静态分配技术来确保其内存消耗量上限，并且能够保证在具有极小内存资源的微型设备上运行
    \item \textbf{不足与未来方向}：论文需要进一步探讨在不同网络条件下（如高延迟或高丢包率）TinyBFT的表现和鲁棒性。
\end{itemize}

\subsubsection{ICLR}
\begin{itemize}
    \item luan等\cite{luan2024using}提出了\textit{基于LeNet的SNN对中国书法风格进行分类}，优化了\textit{低计算资源情况下的图像数据处理}。
\end{itemize}

论文详细分析如下：
\begin{itemize}
    \item \textbf{论文标题}：Using spiking neural networks to assist fine art and philology study: to classify styles of Chinese calligraphy with minimal computing power
    \item \textbf{研究问题}：在资源有限的情况下研究中国书法艺术，该研究对于理解人工智能与文化艺术之间的交叉领域具有重要意义
    \item \textbf{方法与技术}：使用基于LeNet的SNN（spiking neural networks）对中国书法的不同风格进行分类，并且比较了使用SNN和传统神经网络的效果
    \item \textbf{主要贡献}：相比于传统神经网络，SNN在相同的计算资源下可以取得更好的分类效果。这表明SNN可以在低计算资源的情况下对图像数据进行处理，
    这对于一些资源受限的场景非常有用，比如嵌入式设备等，还展示了SNN在跨学科研究中的潜力，可以应用于其他领域的研究，如生物医学工程、机器人学等
    \item \textbf{不足与未来方向}：将其应用在嵌入式设备上，如翻译笔，还能结合其他领域。
\end{itemize}

\subsubsection{DAC}
\begin{itemize}
    \item Hashan等\cite{Mendis2024DR}提出了\textit{DERO方法}，优化了\textit{微型设备中深度学习模型的实用性}。
    \item Wang等\cite{wang2023IP}提出了\textit{STML系统}，优化了\textit{TinyML模型的知识产权保护和内存利用}。
    \item Chand等\cite{chan2022FHDDnn}提出了\textit{FHDnn联邦学习框架}，优化了\textit{物联网网络中的联邦学习性能}。
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：Deep Reorganization: Retaining Residuals in TinyML
    \item \textbf{研究问题}：在设计内存受限的智能微型设备时，由于深度神经网络中残差连接会额外增加内存需求，这使得设计极具挑战性。
    现有方法通过消除残差来降低峰值内存使用，但会导致显著的精度下降。如何在不显著降低精度的前提下，降低微型设备中因残差连接产生的峰值内存使用。
    \item \textbf{方法与技术}：论文提出了DERO（Deep Reorganization）方法，通过深入分析残差连接中操作的类型和相互依赖关系来重新组织残差连接,在不改变模型整体功能的前提下，减少中间数据在内存中的存储时间和存储量。
    \item \textbf{主要贡献}：与现有消除残差以降低内存使用的方法相比，DERO既保证了较低的峰值内存使用，又能使模型精度与原始有残差模型接近，提升了微型设备中深度学习模型的实用性，为智能微型设备的发展提供了有力支持。
    \item \textbf{不足与未来方向}：DERO在处理某些复杂模型结构或特定应用场景时存在局限性，其通用性有待进一步提升。文章并没有实验说明残差连接对内存需求的影响是足够大的。 
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：IP Protection in TinyML
    \item \textbf{研究问题}：在资源受限的微控制器（MCU）上部署微小机器学习（TinyML）模型时，如何保护模型的知识产权（IP），同时优化内存利用和降低运行时延迟，确保模型的安全性和准确性
    \item \textbf{方法与技术}：提出 STML （Secure Tiny Machine Learning）系统，通过系统和算法协同设计，利用 ARM TrustZone 保护 TinyML 模型的 IP。
    将 DL 模型执行隔离在安全世界，部分模型参数存储在外部闪存并加密，执行时加载到安全世界的 SRAM 并解密。采用逐层执行 DL 模型和内存交换策略，减少 SRAM 需求并动态分配内存。
    通过动态规划算法，确定模型层参数在内部和外部闪存的存储策略，优化内部闪存使用，减少内存交换。采用遗传算法搜索最优的 SRAM 分配策略，同时利用算法级模型优化技术减少模型推理延迟，并通过计算和 I/O 并行性进一步降低整体延迟
    \item \textbf{主要贡献}：保护 TinyML 模型的知识产权，同时减少模型执行延迟和保持开发者指定的准确性要求。实验表明，STML 在保护模型 IP 的同时，平均减少了 40\% 的模型保护运行时开销
    \item \textbf{不足与未来方向}：该安全系统主要针对可预测工作负载的系统设计，未考虑对抗边信道攻击和冷启动攻击等其他攻击向量的防御，且未对能量效率等其他关键性能指标进行研究。
    调整 DL 执行延迟建模，使 STML 适用于其他系统；研究提升能量效率等指标，满足不同 TinyML 应用场景需求；探索防御其他攻击向量的方法，增强模型在边缘设备上部署的安全性
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：FHDnn: communication efficient and robust federated learning for AIoT networks
    \item \textbf{研究问题}：物联网和边缘计算的发展推动了联邦学习的应用，但物联网网络存在传输成本高、网络不可靠和计算能力有限等问题，严重制约了联邦学习的发展。如何克服这些瓶颈，实现高效、稳健的联邦学习，是当前面临的关键问题。
    \item \textbf{方法与技术}：提出FHDnn，一种融合卷积神经网络（CNNs）和超维计算优势的协同联邦学习框架。通过自监督对比学习框架提取特征，再进行超维学习，避免传输CNN，仅训练超维部分，以此加速训练过程、降低通信成本并增强对网络错误的鲁棒性。 
    \item \textbf{主要贡献}：创新性地将CNNs和超维计算结合，提出FHDnn联邦学习框架，实验表明，与传统CNNs相比，FHDnn能将通信成本降低66倍，本地客户端计算和能耗降低1.5 - 6倍，同时在保证准确率仅有微小损失的情况下，对网络错误具有高度鲁棒性。
    \item \textbf{不足与未来方向}：在处理某些特定复杂任务或不同数据分布时，性能表现会受到一定限制，且超维计算部分可能在模型可解释性方面存在欠缺。，未来可进一步优化FHDnn框架，提升其在复杂任务和不同数据分布场景下的性能；探索提高超维计算模型可解释性的方法，使模型的工作机制更加透明
\end{itemize}

\section{会议比较与总结}
\subsection{交叉研究点}
通过对 RTAS、ICML、ICLR 和 DAC 的研究成果分析，我们可以发现以下交叉研究点：
\begin{itemize}
    \item 软硬件协同优化：\textit{RTAS}关注嵌入式系统中的实时约束，\textit{DAC}提供了高效的硬件架构优化方案，二者在如何设计兼顾软硬件的高效计算框架方面存在交叉。
    \item 高效模型训练：\textit{ICML} 和 \textit{ICLR} 共同致力于优化深度学习模型的训练效率，\textit{ICML} 关注算法的创新，\textit{ICLR} 则从表示学习的角度出发，二者在提升模型性能与能效方面具有共通之处。
    \item 分布式学习:\textit{ICLR}和 \textit{DAC}在联邦学习、分布式计算架构方面提出了一系列优化策略，以应对资源受限环境下的通信开销和计算挑战。
\end{itemize}

\subsection{差异总结}
尽管这些会议存在交叉研究点，但各自研究重点有所不同：
\begin{itemize}
    \item \textit{RTAS}专注于实时与嵌入式技术及应用，强调在资源受限环境下的神经网络训练推理与实时系统的结合,例如 \textit{TinyBFT} 研究\cite{Harald2024TinyBFT}。
    \item \textit{ICML}聚焦于机器学习算法的创新与发展，着重研究适用于此类设备的新型神经网络训练算法,例如 \textit{POET} 训练系统\cite{pmlr-v162-patil22b}。
    \item \textit{ICLR}关注学习表示的理论和实践，探索更高效的神经网络架构和表示学习方法，以降低模型复杂度,例如 \textit{MobileViT} 轻量级视觉 Transformer\cite{mehta2022mobilevit}。
    \item \textit{DAC}围绕设计自动化展开研究，侧重于从硬件设计和系统层面进行优化，提高移动设备在运行神经网络任务时的整体性能和能效比,例如 \textit{SPARK}混合加速架构\cite{li2024Spark}。
\end{itemize}

\section{研究趋势与挑战}
\subsection{研究趋势}
\begin{itemize}
    \item 趋势1：软硬件协同优化的深化
    \\未来的研究将更加注重算法与硬件的协同设计，例如结合自适应编程框架与专用硬件加速器，如 \textit{TinyTrain }框架\cite{kwon2024tinytrain}。
    \item 趋势2：分布式计算架构的优化
    \\随着边缘计算和 AIoT 设备的普及，研究正致力于优化分布式模型的通信效率与鲁棒性，例如 \textit{FHDnn} 联邦学习框架\cite{chan2022FHDDnn}。
    \item 趋势3：轻量级模型的广泛应用
    \\研究正在探索如何在保证精度的前提下，进一步减少模型的计算和存储开销，以适应资源受限环境，例如 \textit{DictFormer} 轻量级 Transformer\cite{lou2022dictformer}。
\end{itemize}

\subsection{领域挑战}
\begin{itemize}
    \item 挑战1：异构硬件环境的统一编程模型。由于移动设备架构的多样性，如何设计通用的编程框架仍然是挑战。
    \item 挑战2：分布式训练的通信开销。在资源受限设备间进行高效的模型同步仍需进一步研究。
    \item 挑战3：实时性与能效的平衡。在嵌入式和边缘设备上，如何平衡性能和能耗仍然是一个关键问题。
\end{itemize}


\section{总结与展望}
\subsection{总结}
本文综述了\textit{RTAS}、\textit{ICML}、\textit{ICLR}和\textit{DAC}在移动设备上进行神经网络训练与推理的研究进展，归纳了各会议的研究重点、交叉点及差异，分析了研究趋势和挑战。

\subsection{未来展望}
未来的研究可以关注以下方向：
\begin{itemize}
    \item 提升软硬件协同优化能力，设计更加适配资源受限环境的计算框架。
    \item 发展适用于分布式系统的高效训练方案， 以适应 AIoT 设备的快速发展。
    \item 探索新型神经网络架构， 以进一步提高模型在嵌入式设备上的表现。
\end{itemize}

\bibliographystyle{IEEEtran}
\bibliography{references}

\end{document}